\section{Введение стохастических дифференциальных уравнений}
В дальнейшем мы хотим рассматривать некоторую динамическую систему, на динамику которой оказывает влияние некоторый неизвестный фактор (шум, помехи). В курсе динамического программирования и процессов управления под таковым понимается некая неизвестная, но детерминированная (т.е. обычная, неслучайная) функция:
\begin{equation}\label{DinSystem}
\dot{x} = f(x,t) + v(x,t),
\end{equation}
где $v(x,t): \bbr\times[t_0,\infty)\to\bbr^n$. Мы же попробуем ввести неопределенность как случайную функцию (случайный процесс): $v(x,t) = v(\omega,x,t):\ \Omega\times\bbr\times[t_0,\infty)\to \bbr^n$, где $\Omega$ --- пространство элементарных исходов из колмогоровской аксиоматики (в явном виде вероятностное пространство мы строить не будем).

Ясно, что такая замена требует обобщения понятия решения обыкновенного дифференциального уравнения (ОДУ) для ``случайной'' правой части стохастического дифференциального уравнения (СДУ).



\subsection{Как не надо вводить стохастические дифференциальные уравнения}
 Естественной идей кажется отталкиваться от формулы вида \eqref{DinSystem}, наложив некоторые разумные ограничения на $v(x,t)$, а именно:
\begin{enumerate}
 \item  $\E v(x,t) = 0$ (это предположение никоим образом не умаляет общности: если $\E v(x,t) =  a \neq 0$, то можно перейти от $f + v$ к $f +a +\hat{v}$, где $\E \hat{v}(x,t) = 0$,  т.е. убрать м.о. в детерминированную часть);
 \item $v(x,t),\ v(y,s)$ --- независимы для всех $x,y,t,s$ (марковское свойство);
 \item $\E v^2(x,t) < \infty$;
 \item $v(x,t)$ --- непрерывны в среднеквадратичном (с.к.), т.е. $\lim\limits_{h\to0}\E(v(t+h)-v(t))^2 = 0$.
\end{enumerate}

Можно показать, что из 1)---4) следует существование и единственность решения задачи Коши для \eqref{DinSystem}. Суть условия 4) раскрывает следующая
\begin{theorem}
 Непрерывность $\xi(t),\ t\in[a,b]$  в с.к. равносильна выполнению двух условий:
\begin{enumerate}
 \item $m(t) \equiv \E\xi(t)\in C(a,b)$; 
 \item $\cov{\xi(t)}{\xi(s)}    \in C(a,b)\times(a,b)$.
\end{enumerate}
\end{theorem}

Однако наш наивный метод оказывается чрезвычайно неудачным: оказывается, что условиям 1)---4) удовлетворяет только $v(x,t)\pn0$.
\begin{theorem}
 Пусть $v(x,t)$ удовлетворяет условиям 1)---4). Тогда $\E v^2(x,t) \equiv 0$.
\end{theorem}
\begin{proof}
Для простоты, докажем теорему в одномерном случае для анизотропного шума: пусть $v(x,t) = v(t)$. Построим для $v(x,t)$ интеграл в смысле Римана, а затем оценим второй момент функции через второй момент ее интеграла. Введем разбиение $0 = t_0 < t_1 <\ldots<t_n = t$, его диаметр $\sigma = \max\limits_{i}(t_{i+1}-t_i)$ и частичную сумму
$$
I_n = \sum\limits_{k=1}^n v(\tau_k)(t_k-t_{k-1}),\ \tau_k\in[t_{k-1},t_k].
$$
Если существует предел $I_n\sk I$ при $\delta\to0$, то величину $I$ будем называть интегралом от $v$ и обозначать 
$$
I = \int\limits_0^t v(s)ds. 
$$
Построенный таким образом интеграл обладает следующими свойствами: 
\begin{enumerate}
 \item Формула среднего: $\E\int\limits_0^tv(s)ds = \int\limits_0^tm(s)d = M$ (ясно из построения);
 \item Формула для дисперсии:
\begin{multline*}
\D\int\limits_0^tv(s)ds = \E\left(\int\limits_0^tv(s)ds- M \right)\left(\int\limits_0^tv(s)ds- M \right) = \\
= \E \int\limits_0^s\int\limits_0^t (v(s)- m(s))(v(\xi) - m(\xi))d\xi ds \equiv \int\limits_0^s\int\limits_0^t R(s,\xi)dsd\xi.
\end{multline*}
Тогда:
\begin{multline*}
\E\left(\int\limits_0^tv(s)ds\right)^2 = \E\int\limits_0^t\int\limits_0^tv(s)v(\xi)dsd\xi 
= \left(\int\limits_0^tm(s)\right)^2 + \int\limits_0^t\int\limits_0^t R(s,\xi)dsd\xi = \int\limits_0^t\int\limits_0^t R(s,\xi)dsd\xi, 
\end{multline*}
ибо $m(t) = 0$. Но в силу 3), $R(s,\xi)= 0 $ при $s\neq\xi$, откуда $\E\left(\int\limits_0^tv(s)ds\right)^2=0$. Оценим второй момент самой функции:
\begin{multline*}
0 \leqslant \E v^2(t) = \E\left(\dfrac{d}{dt}\int\limits_0^tv(s)ds\equiv u'(t)\right)^2 = \E\lim\limits_{h\to 0}\lim\limits_{k\to0} \left(\dfrac{u(t+h) - u(t)}{h}\right)\left(\dfrac{u(t+k) - u(t)}{k}\right) = \\= 
\lim\limits_{h\to 0}\lim\limits_{k\to0} \dfrac{1}{hk}\E(u(t+h)u(t+k) - u(t)u(t+k) - u(t)u(t+h) + u^2(t)))
\end{multline*}
Доказательство завершается применением неравенства треугольника для модулей и неравенства Коши-Буняковского-Шварца.
\end{enumerate}
\end{proof}

В дальнейшем мы попытаемся освободиться от свойства 3).



\subsection{Введение СДУ через разностные уравнения}
Попытаемся построить СДУ, исходя из других аналогий с детерминированным случаем.

В определенных предположениях гладкости, для ОДУ верно соотношение
$$
x(t+h) - x(t) = f(x,t)h + o(h),
$$
получаемое применением формулы Тейлора. Пусть теперь фазовая координата ``шумит'': $x(\cdot)$ заменим на $x(t) + v(x(t),t)$ и получим\footnote{Здесь и далее для облегчения записи принято соглашении о согласованности аргументов сложных функций: $v(x(t),t) \equiv v(x,t)$} 
$$
x(t+h) - x(t) = f(x,t)h + v(x,t+h) - v(x,t) + o(h),
$$
Отталкиваясь от этого соотношения, для корректности дальнейших рассуждений наложим на правую часть некоторые ограничения.
\begin{enumerate}
 \item $v(x,t)$ --- процесс с независимыми приращениями;
 \item $v(x,t+h) - v(x,t) = \sigma(x,t)(w(t+h)-w(t))$, где $\sigma(x,t)$ --- неслучайная функция, а $w(t)$ --- стандартный винеровский процесс\footnote{Напомним, что при этом $\E w(t)\equiv0,\ \D(w(t+h) - w(t)) = h$.}.
 \item $\sigma,f$ непрерывно дифференцируемы по обоим аргументам.
\end{enumerate}
Найдем м.о. разности $x(t+h)-x(t)$:
$$
\E(x(t+h) - x(t)) = f(x,t)h + o(h),
$$
что означает, что определено $\E \dot{x}$ при $h\to0+0$. Найдем дисперсию:
$$
\D(x(t+h) - x(t)) = \sigma^2(x,t)h + o(h),
$$
что, в силу того, что константа выносится из-под дисперсии с квадратом, влечет несуществование $\D \dot{x}$. 

В дальнейшем условимся записывать наше СДУ в следующем виде:
$$
dx  = f(x,t)dt + \delta(x,t)dw.
$$
Заметим, что при этом $dw \sim\sqrt{dt}$.

Интересной особенностью СДУ является то, что хотя величина $\E \dot{x}$ и существует, ее конкретное значение зависит от способа стремления приращения к нулю. Действительно, рассмотрим соотношение для случая $h\to0-0$:
\begin{equation}\label{NegLim}
x(t) - x(t-h) = f(x,t)h +\sigma(x,t)(w(t) - w(t-h)) + o(h).
\end{equation}
Разложим $f$ и $\sigma$ в ряд Тейлора ($\Delta x = x(t-h) - x(t)$):
\begin{multline*}
 f(x,t) = f(x,t-h) + f'_t(x,t-h)h + f'_x(x,t-h)\Delta x + o(h),\\
 \sigma(x,t) = \sigma(x,t-h) + \sigma_t'(x,t-h)h + \sigma'_x(x,t-h)\Delta x +o (h).
\end{multline*}
Убирая члены более высокого порядка малости, чем $h$, получаем из \eqref{NegLim}:
\begin{multline*}
\Delta x = f(x,t-h)h + \sigma(x,t-h)(w(t) - w(t-h)) + \sigma'_x(x,t-h)\sigma(x,t)(w(t) - w(t-h))^2 + o(h),\\
\E\Delta x = (f(x,t-h) + \sigma'_x(x,t-h)\sigma(x,t))h + o(h),\ \D\Delta x = \sigma^2(x,t-h)h + o(h),
\end{multline*}
откуда видно, что м.о. совпадет со случаем $h\to 0+0$ лишь при $\sigma'_x(x,t) = 0$, т.е. когда дисперсия $v$ не зависит от фазовой координаты.

Это различие приводит нас к мысли о введении ``смешанного'' уравнения:
$$
d_\lambda x(t) = (1-\lambda)(x(t-h) -x (t)) + \lambda(x(t) - x(t-h)).
$$
Особо выделим следующие случаи:
\begin{enumerate}
 \item $\lambda = 0$, что представляет собой рассмотренную нами изначально ``прямую'' разность. Такие СДУ имеют специальное имя --- СДУ Ито.
 \item $\lambda = 1$, что представляет собой рассмотренную нами потом ``обратную'' разность. Никакими интересующими нас свойствами не обладает и потому нам не интересен.
 \item $\lambda = 1/2$. Такие СДУ также имеют специальное имя --- СДУ Стратановича.
\end{enumerate}

При этом выбор конкретного значения $\lambda$ опредееляет набор свойств СДУ, которые можно перенести с детерминированного случая. Подробнее на этом мы остановимся в следующем разделе.

Здесь и далее будем использовать соглашение: $d_0 = d$ (т.е. ``по умолчанию'' мы рассматриваем СДУ Ито).



\subsection{Введение СДУ через стохастический интеграл}
Как известно, задачу Коши для ОДУ можно свести у эквивалентному интегральному уравнению:
$$
\begin{cases}
\dot{x} = f(x,t),\\
x(t_0) = x_0.
\end{cases}\
\Leftrightarrow\
x(t) = x_0 + \int\limits_{t_0}^{t}f(x(s),s)ds.
$$
Можно было бы попытаться записать СДУ в аналогичной форме:
$$
x(t) = x_0 + \int\limits_{t_0}^{t}f(x(s),s)ds + \int\limits_{t_0}^{t}\sigma(x(s),s)dw.
$$
Такой подход требует введения понятия стохастического интеграла --- интеграла, описывающего интегрирование одного случайного процеса по другому случайному процессу. 

Как СДУ можно вводить несколькими разными способами, не являющимися, вообще говоря, эквивалентными, так и стохастические интегралы можно вводить разными способами, отталкиваясь от разных построений (Коши, Римана, Стильтьеса, Лебега...) и свойств (линейность, интегрирование по частям...) интегралов обычных.

Например, интеграл от, скажем, непрерывной функции $f$ по случайному процессу $y$ с п.н. непрерывными траекториями можно было бы определить подобно тому, как определяются интегралы от обобщенных функций --- исходя из формулы интегрирования по частям:
$$
\int\limits_a^b f(t)dy(t) = f(t)y(t)\stick_a^b - \int\limits_a^b y(t)df(t),
$$ 
где последний интеграл понимается  в смысле Стильтьеса. Этот метод хорош в силу его простоты и наглядности, однако, он не обобщается на случай интегрирования случайного процесса по случайному процессу.

\subsubsection{Построение стохастического интеграла}
Для дальнейших действий мы построим стохастический интеграл, модифицировав построение детерминированного интеграла Римана. При этом для интеграла $I$ будем проверять выполнение двух свойств:
\begin{equation}\label{DesProp}
\E I  = \int\limits_a^b f(t)dm_y(t),\ \D I  = \int\limits_a^b f(t) d R_y(t),
\end{equation}
где $m_y(t) = \E y(t),\ R_y(t) = \D y(t)$. Покажем основные шаги построения интеграла, пока для простоты положив $f$ детерминированной.
\begin{enumerate}
 \item Пусть $f$  --- кусочно-постоянна, $y(t)$ --- процесс с независимыми приращениями. Введём разбиение $a = t_0 < t_1 <\ldots < t_n = b,\ \tau_i\in[t_i,t_{i+1}],\ \Delta = \max{t_{i+1}-t_i}$, причем на каждом звене разбиения $f$ постоянна. Тогда интегралом от $f$ по $y$ назовём, по определению, с.в.
$$
I_n = \sum\limits_{i=0}^nf(\tau_i)(y(t_{i+1})-y(t_i)).
$$
Условия \eqref{DesProp}, очевидно, выполняются.
 \item Пусть к $f$ можно сойтись по кусочно-постоянным функциям $f_n$, и
$$
\max\left\lbrace\int\limits_a^b (f_n-f)dR,\ \int\limits_a^b |f_n-f|dm \right\rbrace \sk 0\text{ при }n\to+\infty,
$$ 
Пусть существует $I$, т.ч. $I_n\sk I$. Назовем тогда $I$ интегралом; при этом 
$$
\D \int\limits_a^b (f-f_n)dy + \left( \E \int\limits_a^b (f-f_n)dy\right)^2 = \int\limits_a^b (f-f_n)dR + \left( \int\limits_a^b |f_n-f|dm\right)^2\to 0.
$$
\item Особенности интегрирования процесса по процессу для простоты продемонстрируем для стандартных винеровских процессов. Пусть $w(s)$ --- стандартный винеровский процесс. Величину $\int w(s)dw(s)$ приблизим двумя интегральными суммами:
$$
I_0 = \sum\limits_{i=0}^{n-1}w(t_i)(w(t_{i+1}) - w(t_i)),\ I_1 = \sum\limits_{i=0}^{n-1}w(t_{i+1})(w(t_{i+1}) - w(t_i))
$$
При этом
$$
\D(w(t_{i+1}) -w(t_i)) = \E(w(t_{i+1}) -w(t_i)^2 = t_{i+1}-t_i;\ \E (I_1 - I_0)^2 = \sum\limits_{i=0}^{n-1}(t_{i+1}-t_i) = t-t_0,
$$
т.е. мы получили, что разница интегральных сумм имеет ненулевую дисперсию, т.е. не равна п.н. нулю.
\end{enumerate}

Как и для разностных уравнений, введем смешанный интеграл:
$$
I_\lambda = \lim\limits_{\Delta\to0}\sum\limits_{i=0}^{N-1}((1-\lambda)f(t_i) + \lambda f(t_{i+1}))(y(t_{i+1}) - y(t_i)).
$$
Аналогично, случаи $I_0, I_{1/2}$ называются интегралами Ито и Стратановича соответственно. Займемся изучением их свойств.

\subsubsection{Свойства интегралов Ито и Стратановича}
\begin{enumerate}
 \item Пусть $f,y$ --- независимы. Тогда:
$$
\E I_0 = \lim\limits_{\Delta\to0}\sum\limits_{i=0}^{N-1}\E (f(t_i)(y(t_{i+1})) - y(t_i)) = \lim\limits_{\Delta\to0}\sum\limits_{i=0}^{N-1}\E f(t_i)(\E y(t_{i+1}) - \E y(t_i)) = \int\E f(t) dm_y(t),
$$  
что согласуется с интуицией.
 \item Аналогично можно установить, что 
$$
\cov{\int\limits_a^b f(t)dy(t)}{\int\limits_a^b g(t)dy(t)} = \int\limits_a^b\cov{g(t)}{f(t)}dR_y(t).
$$
 \item $I_0$ --- мартингал.
 \item Пусть у наших процессов п.н. непрерывные траектории. Выясним, при каких $\lambda$ верна формула интегрирования по частям. Рассмотрим два соотношения:
\begin{multline*}
 f(t_{k+1})y(t_{k+1}) - f(t_k)y(t_k) = f(t_k)(y(t_{k+1} ) - y(t_k)) + y(t_{k+1})(f(t_{k+1}) - f(t_k)),\\
 f(t_{k+1})y(t_{k+1}) - f(t_k)y(t_k) = f(t_{k+1})(y(t_{k+1}) - y(t_k)) + y(t_k)(f(t_{k+1}) - f(t_k))
\end{multline*}
Просуммируем по $k$ эти выражения с весовым коэффициентом $1/2$:
$$
f(b)y(b) - f(a)y(a) = \dfrac{1}{2} (I_1(f,dy) + I_0(y,df) + I_0(f,dy) + I_1(y,df)) = I_{1/2}(f,dy) +  I_{1/2}(y,df).
$$
Таким образом, для интеграла Стратановича справедлива формула интегрирования по частям.
\item В детерминированном случае, верно соотношение
\begin{equation}\label{IdInt}
\int\limits_0^t xdx = \dfrac{1}{2}(x^2(t) - x^2(0)).
\end{equation}
Выясним, для каких интегралов это справедливо для винеровских процессов. Рассмотрим соотношение
\begin{multline*}
I_\lambda(w,dw) = \lim\limits_{\Delta\to0}\sum\limits_{i=0}^{n-1}(\lambda w(t_{i+1}) + (1-\lambda)w(t_i))(w(t_{i+1} -w(t_i)) =\\
=  \lim\limits_{\Delta\to0}\sum\limits_{i=0}^{n-1}\left(w(t_i)w(t_{i+1}) - w^2(t_i) + \lambda(w(t_{i-1}) - w(t_i))^2 \pm \frac{1}{2}w^2(t_{i+1})\right) =\\
= \lim\limits_{\Delta\to0}\sum\limits_{i=0}^{n-1}\left( \dfrac{1}{2}\left(w^2(t_{i+1}) - w^2(t_i) \right) + \left(\lambda - \frac{1}{2}\right)(w(t_{i+1}) - w(t_i))^2\right),
\end{multline*}
откуда видно, что свойство \eqref{IdInt} выполняется при $\lambda=1/2$, т.е. для интеграла Стратановича.
\end{enumerate}
